Improving Test-Time Scaling with Adaptive Looped Transformers
自适应循环 Transformer 提升测试时扩展效率
🧭 自适应循环 Transformer 的测试时缩放
Tsinghua University · Yale University
提出 TaH2 自适应循环 Transformer，通过前瞻深度监督让模型仅对收益 token 增加迭代，测试时计算斜率提升 53%
📌 工作参考价值（4 点）
- 在 LLM 推理服务中（如搜索 query 改写、商品卖点生成、推荐理由），可采用 TaH2 的自适应计算思路：训练一个轻量 iteration decider，对简单 token 少迭代、困难 token 多迭代，同等精度下可显著降低 decode FLOPs，适合降低电商场景的推理成本与延迟。
- lookahead depth supervision 的在线标签方法可迁移到动态路由/级联模型：判断“继续计算是否能提升预测”来训练 router，例如 MoE 中选择专家数、广告出价/策略分析中的多步推理是否继续，避免固定深度浪费。
- 该后训练方案不改变 backbone 结构，只加轻量 decider 并进行联合微调，适合对已部署的 7B/13B 模型做后训练优化，快速验证收益；对需要高精度推理的任务（如商品属性逻辑校验、A/B 分析）尤其值得尝试。
- 结论提示：全局固定深度 loop 在最大深度增加时会饱和，而自适应分配能让增益持续增长；在 Agent 多步推理中，可以按 token 难度动态分配思考步数，减少低效 rollout 的算力消耗。